Sau khi kết thúc thời kỳ thuộc địa ở châu Phi, mong muốn ngày càng tăng về sự thống nhất trong lục địa đã dẫn đến việc thành lập hai điều lệ dự thảo, một cho việc thành lập Tổ chức Thống nhất Châu Phi (được thành lập năm 1963, sau đó được thay thế bởi Liên minh châu Phi) và cho một ngân hàng phát triển khu vực.

Một bản dự thảo đã được đệ trình lên các quan chức hàng đầu châu Phi sau đó tới Hội nghị Bộ trưởng Tài chính về việc thành lập một ngân hàng phát triển châu Phi. Hội nghị này đã được triệu tập bởi Ủy ban Kinh tế Liên Hiệp Quốc về Châu Phi (UNECA) tại Khartoum, Sudan, từ ngày 31 tháng 7 đến ngày 4 tháng 8. Chính tại đây, thỏa thuận thành lập Ngân hàng Phát triển Châu Phi (AfDB) đã được hai mươi ba chính phủ châu Phi ký kết vào ngày 4 tháng 8 năm 1963.[3] Thỏa thuận có hiệu lực vào ngày 10 tháng 9 năm 1964.[4].

Cuộc họp khai mạc của Hội đồng Thống đốc Ngân hàng được tổ chức từ ngày 4 đến ngày 7 tháng 11 năm 1964 tại Lagos, Nigeria. Trụ sở của Ngân hàng được mở tại Abidjan, Côte d'Ivoire, vào tháng 3 năm 1965 và hoạt động của Ngân hàng bắt đầu vào ngày 1 tháng 7 năm 1966. Từ tháng 2 năm 2003 trở đi, Ngân hàng hoạt động từ Cơ quan Tái định cư tạm thời ở Tunis, Tunisia, do cuộc xung đột chính trị đang diễn ra ở Tunisia, Tunisia. Côte d'Ivoire tại thời điểm đó. Ngân hàng đã có thể trở lại trụ sở ban đầu tại Abidjan vào cuối năm 2013 khi cuộc khủng hoảng chính trị kết thúc. Đến tháng 6 năm 2015, hơn 1.500 nhân viên đã trở về trụ sở Abidjan của Ngân hàng trong số hơn 1.900 nhân viên bổ sung tại Ngân hàng.[5].

Mặc dù, ban đầu, chỉ có các quốc gia châu Phi có thể tham gia ngân hàng, kể từ năm 1982, nó cũng đã cho phép nhập cảnh vào các quốc gia ngoài châu Phi.

Kể từ khi thành lập, AfDB đã tài trợ cho 2.885 hoạt động, với tổng số tiền là 47,5 tỷ USD. Năm 2003, nó đã nhận được xếp hạng AAA từ các tổ chức xếp hạng tài chính lớn và có số vốn 32,043 tỷ USD.